People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.
translated by 谷歌翻译
We test the performance of GAN models for lip-synchronization. For this, we reimplement LipGAN in Pytorch, train it on the dataset GRID and compare it to our own variation, L1WGAN-GP, adapted to the LipGAN architecture and also trained on GRID.
translated by 谷歌翻译
AI系统可以在决策过程中创建,传播,支持和自动化偏见。为了减轻偏见的决策,我们俩都需要了解偏见的起源,并定义算法做出公平决定的含义。大多数群体公平概念通过计算输出上的统计指标来评估模型的结果平等。我们认为,这些输出指标会遇到内在障碍,并提出了一种互补的方法,该方法与对治疗平等的关注度的越来越多。通过通过规范逆设计(Lucid)找到不公平性,我们生成一个规范集,该集合显示了给定优选输出的模型所需的输入。该规范集揭示了模型的内部逻辑,并通过反复询问决策过程来暴露潜在的不道德偏见。我们评估了UCI成人和Compas数据集的LUCID,发现规范集检测到的一些偏见与输出指标的偏见不同。结果表明,通过将重点转移到治疗平等并研究算法的内部工作原理中,规范集是对算法公平评估工具箱的宝贵补充。
translated by 谷歌翻译
大型语言模型,例如OpenAI的法典和DeepMind的字母,可以生成代码来解决以自然语言表达的各种问题。这项技术已经在至少一项广泛使用的编程编辑器扩展程序中进行了商业化:Github Copilot。在本文中,我们探讨了具有大型语言模型(LLM辅助编程)的编程与程序员协助的先前概念化相似,并且与众不同。我们借鉴了公开可用的经验报告,有关LLM辅助编程以及先前的可用性和设计研究。我们发现,尽管LLM辅助编程通过搜索和重用分享了一些编译,配对编程和编程的属性,但技术可能性和实践经验都存在根本差异。因此,应该将LLM辅助编程视为具有自己独特的属性和挑战的新方法。最后,我们借鉴了用户研究的观察结果,在该观察中,非专家最终用户程序员使用LLM辅助工具来求解电子表格中的数据任务。我们讨论可能出现的问题,并在将大型语言模型应用于最终用户编程时,尤其是对于几乎没有编程专业知识的用户。
translated by 谷歌翻译
电子表格广泛用于桌面操作和演示。这些表的风格格式是演示和分析的重要属性。结果,流行的电子表格软件(例如Excel)支持基于数据依赖性规则的自动格式表。不幸的是,编写这些格式规则对于用户来说可能是具有挑战性的,因为这需要了解基础规则语言和数据逻辑。在本文中,我们提出了Cornet,这是一种神经符号系统,该系统解决了从格式化细胞的用户示例中自动学习此类格式规则的新问题。 Cornet从归纳计划的合成中汲取灵感,并根据半监督聚类和迭代决策树学习结合了符号规则,并与神经排名者一起产生条件格式的规则。为了激励和评估我们的方法,我们从超过40k真实电子​​表格的语料库中提取了表格的表格。使用这些数据,我们将短号与各种符号和神经基线进行了比较。我们的结果表明,与这些基线相比,Cornet可以在不同条件下更准确地学习规则。除了从用户示例中学习规则外,我们还提出了两个案例研究,以激发Cornet的其他用途:简化用户条件格式规则并恢复规则,即使用户可能手动格式化了其数据。
translated by 谷歌翻译
便携式仰卧胸部X光片的图像质量由于对比度低和高噪声而固有地差。气管插管检测需要气管管(ETT)尖端和Carina的位置。目的是在胸部射线照相中找到ETT尖端和Carina之间的距离。为了克服此类问题,我们建议使用Mask R-CNN提出特征提取方法。蒙版R-CNN预测图像中的管子和气管分叉。然后,使用特征提取方法来找到ETT尖端的特征点和Carina的特征点。因此,可以获得ETT-Carina距离。在我们的实验中,我们的结果在召回和精度方面可能超过96 \%。此外,对象错误小于$ 4.7751 \ pm 5.3420 $毫米,ETT-Carina距离错误小于$ 5.5432 \ pm 6.3100 $ mm。外部验证表明,所提出的方法是高舒适性系统。根据Pearson相关系数,我们在董事会认证的强化主义者与ETT-Carina距离方面有着很强的相关性。
translated by 谷歌翻译
在关键安全应用中,当没有可解释的解释时,从业者不愿信任神经网络。许多尝试提供此类解释的尝试围绕基于像素的属性或使用先前已知的概念。在本文中,我们旨在通过证明\ emph {高级,以前未知的地面概念}来提供解释。为此,我们提出了一个概率建模框架来得出(c)插入(l)收入和(p)rediction(clap) - 基于VAE的分类器,该分类器使用可视上可解释的概念作为简单分类器的预测指标。假设是基本概念的生成模型,我们证明拍手能够在达到最佳分类精度的同时识别它们。我们对合成数据集的实验验证了拍手确定合成数据集的不同基础真相概念,并在医疗胸部X射线数据集上产生有希望的结果。
translated by 谷歌翻译
原始的“七个图案”阐述了科学计算领域的基本方法的路线图,其中图案是一种捕获计算和数据移动模式的算法方法。我们介绍了“仿真智力的九个主题”,是一种开发和整合的路线图,以合并科学计算,科学模拟和人工智能所必需的基本算法。我们称之为合并模拟智能(SI),短暂。我们认为模拟智能的主题是相互连接的和相互依存的,很像操作系统层中的组件一样。使用这种隐喻,我们探讨了模拟智能操作系统堆栈(Si-Stack)和其中图案的各层的性质:(1)多种物理和多尺度建模; (2)替代建模和仿真; (3)基于仿真的推理; (4)因果建模和推理; (5)基于代理的建模; (6)概率编程; (7)可微分的编程; (8)开放式优化; (9)机器编程。我们相信图案之间的协调努力提供了加速科学发现的巨大机会,从综合生物和气候科学中解决逆问题,指导核能实验,并预测社会经济环境中的紧急行为。我们详细说明了Si-stack的每层,详细说明了最先进的方法,提出了示例以突出挑战和机遇,并倡导具体的方法来推进主题和与其组合的协同作用。推进和整合这些技术可以实现稳健且有效的假设仿真 - 分析类型的科学方法,我们用几种使用案例为人机组合和自动化学介绍。
translated by 谷歌翻译
慢性伤口显着影响生活质量。如果没有正确管理,他们可能会严重恶化。基于图像的伤口分析可以通过量化与愈合相关的重要特征来客观地评估伤口状态。然而,伤口类型,图像背景组成和捕获条件的高异质性挑战伤口图像的鲁棒分割。我们呈现了检测和段(DS),深度学习方法,以产生具有高泛化能力的伤口分割图。在我们的方法中,专门的深度神经网络检测到伤口位置,从未经信息背景隔离伤口,并计算伤口分割图。我们使用具有糖尿病脚溃疡图像的一个数据集评估了这种方法。为了进一步测试,使用4个补充独立数据组,具有来自不同体积的较大种类的伤口类型。当以相同的方法组合检测和分割时,在将完整图像上的分割到0.85时,Matthews的相关系数(MCC)从0.29提高到0.29。当从补充数据集汲取的卷绕图像上进行测试时,DS方法将平均MCC从0.17增加到0.85。此外,DS方法使得分段模型的培训能够在保持分割性能的同时培训高达90%的训练数据。
translated by 谷歌翻译
面部识别水平的度量对于确保专业法医面部考官和其他在应用方案中执行面部识别任务的其他人的准确和一致的表现至关重要。当前的熟练度测试依赖于静态刺激项目的集合,因此不能多次有效地对同一个人进行有效管理。要创建熟练度测试,必须组装大量“已知”难度的项目。可以构建多个相等难度的测试,然后使用项目子集。我们介绍了三合会身份匹配(TIM)测试,并使用项目响应理论(IRT)对其进行评估。参与者查看面部图像“三合会”(n = 225)(一个身份的两个图像,一个不同身份的一个图像),然后选择不同的身份。在实验1中,大学生(n = 197)在TIM测试中显示出广泛的准确性,IRT建模表明TIM项目涵盖了各种难度水平。在实验2中,我们使用基于IRT的项目指标将测试分配为特定困难的子集。模拟显示,TIM项目的子集产生了对受试者能力的可靠估计。在实验3A和3B中,我们发现学生衍生的IRT模型可靠地评估了非学生参与者的能力以及在不同的测试课程中推广的能力。在实验3C中,我们显示TIM测试性能与其他常见的面部识别测试相关。总而言之,TIM测试为开发一个灵活和校准的框架提供了一个起点,以衡量各种能力水平(例如,具有面部处理缺陷的专业人员或人群)的能力。
translated by 谷歌翻译